Here and Now: Creating Improvisational Dance Movements with a Mixed Reality Mirror
Authors:
Authors Info & Claims
#CHI '23: Proceedings of the 2023 CHI Conference on Human Factors in Computing SystemsApril #2023 Article No.: 183Pages 1–16 This paper explores using mixed reality (MR) mirrors for supporting improvisational dance making. Motivated by the prevalence of mirrors in dance studios and inspired by Forsythe’s Improvisation Technologies, we conducted workshops with 13 dancers and choreographers to inform the design of future MR visualisation and annotation tools for dance. The workshops involved using a prototype MR mirror as a technology probe that reveals the spatial and temporal relationships between the reflected dancing body and its surroundings during improvisation; speed dating group interviews around future design ideas; follow-up surveys and extended interviews with a digital media dance artist and a dance educator. Our findings highlight how the MR mirror enriches dancers’ temporal and spatial perception, creates multi-layered presence, and affords appropriation by dancers. We also discuss the unique place of MR mirrors in the theoretical context of dance and in the history of movement visualisation, and distil lessons for broader HCI research.
本論文では、即興的なダンス制作をサポートするための複合現実（MR）ミラーの使用について検討する。
ダンススタジオに鏡が普及していることや、フォーサイスの「インプロビゼーション・テクノロジー」に触発され、13人のダンサーや振付師とワークショップを行い、将来のダンス用MR視覚化・注釈ツールの設計に役立てる。
ワークショップでは、プロトタイプのMRミラーを使用して、即興演奏中に反射するダンス身体とその周囲の空間的・時間的関係を明らかにするテクノロジープローブとして使用し、将来のデザインアイデアに関するスピードデートグループインタビュー、フォローアップ調査、デジタルメディアダンスアーティストとダンス教育者との延長インタビューが行われました。
その結果、MRミラーはダンサーの時間的・空間的知覚を豊かにし、多層的な存在感を生み出し、ダンサーによるアプロプリエーションを可能にすることが明らかになりました。
また、ダンスの理論的背景や動きの視覚化の歴史におけるMRミラーのユニークな位置づけを議論し、より広範なHCI研究への教訓を抽出する。
- この論文は、ミックスリアリティ（MR）ミラーを使用して即興のダンス作品を作成するための研究を探求しています。
- 13人のダンサーや振付師とのワークショップを通じて、将来のMR視覚化と注釈ツールの設計についての洞察を得ました。
- MRミラーは、ダンサーの時間的および空間的な知覚を豊かにし、多層的な存在感を作り出し、ダンサーによる応用を可能にします。
- MRミラーはダンスの理論的コンテキストや動きの可視化の歴史において独自の位置を占めており、広範なHCI研究に対する教訓をまとめています。
------
- ミックスリアリティ（MR）ミラーを使用した即興ダンス作品の創造に関する研究
- ダンサーや振付師とのワークショップを通じて洞察を得る
- MRミラーの効果：時間的および空間的な知覚の豊かさ、多層的な存在感、ダンサーによる応用可能性
- MRミラーの特異な位置：ダンスの理論的コンテキストや動きの可視化の歴史との関連
- 広範なHCI研究における教訓の抽出
------
- 複合現実感（MR）技術は、3Dコンテンツへのリアルタイムの注釈やインタラクションを可能にすることで、ダンスパフォーマンスを向上させる可能性を秘めている。
- しかし、MRにはかさばるヘッドセットが必要であるため、ダンス界に取り入れるには課題がある。
- ダンススタジオでは鏡が一般的に使用されており、MRを取り入れる際にヘッドセットの代わりとしてより自然に使用できる可能性があります。
- 異なるダンスの文脈における鏡の役割について、さらに理解する必要がある。
- プロの振付師、ダンサー、ダンス専攻の学生を対象に、即興で新しい動きを生み出すためのインタラクティブなMRミラーの使用について調査を実施しました。
- その結果、MRミラーはダンサーの知覚と創造的なプロセスを強化することが判明した。
- 本研究は、ダンスにおける技術の統合におけるHCI研究のための洞察を提供するものである。
------
- ダンスのための計算ツールを設計することは、独特の表現的な体の動きと創造的なプロセスが含まれるため、困難である。
- HCIコミュニティは、ダンスのためのデザインにおいて、これらの課題を認識する必要がある。
- MRミラーは、MRを取り入れるためのヘッドセットの自然な代替品として、ダンススタジオで使用される可能性がある。
- 異なるダンスの文脈におけるミラーの役割を理解することは重要である。
- ある研究では、即興演奏におけるインタラクティブなMRミラーの使用について調査しました。
- MRミラーは、ダンサーの知覚と創造的プロセスを豊かにすることがわかった。
- 本研究は、ダンスにおける技術の統合に関するHCI研究に貢献するものである。
- ジョン・マーティンは、ダンスにおける動きと運動感覚的な共感の重要性を強調している。
- 現代の振付は、感情的な経験を外形に変換することに重点を置いている。
- 振付の素材では即興が奨励され、複数のレベルの存在感を利用することができる。
- 技術的なツールは、モダンダンスのダンサーや振付師の創造的なプロセスを混乱させる可能性がある。
- これまでのHCI研究は、不確定性、発見可能性、動きの探求を強調し、ダンスにテクノロジーを統合するための洞察を提供している。
- ダンサーとテクノロジーの親密な身体的関係を理解することは非常に重要である。
- ダンスの動きに注釈を付けたり、修正したりするための技術的なツールはいくつかデザインされている。
- フォーサイスの「インプロビゼーション・テクノロジー」は、振付の創作において即興的な素材を使用することに大きな影響を与えた。
- 即興は、新しい振付やダンスの動きを生み出すために重要である。
- ダンスにおけるHCI研究は、テクノロジーを使ってダンスを創造することに重点を置いてきた。
------------------
- ダンスにおけるミラーの役割は、姿勢や動きの修正、分析、創造など、様々な用途に利用される
- 伝統的なダンスのトレーニングにおいては、正確さが求められるため、ミラーは重要な役割を果たす
- 現代のダンサーにとって、ミラーは肯定的な経験と否定的な経験の両方をもたらすことが示されている
- ミラーは、学習のサポートや技術的な成長、キネステティックに感じられる動きの視覚的表現を提供する一方で、ネガティブな経験を引き起こすこともある
- ミラーは「内的かつキネステティックな自己の動く身体」と「外的かつ他者の視点」の境界を曖昧にすることがある
- [[ミラーの技術的な可能性やダンサーと映像との複雑な関係について、さらなる研究が必要である。
------
- 鏡を使った拡張現実（AR）ミラーへの可能性を探る研究が行われている
- MRミラーを利用したダンスの創造的なプロセスを支援するためのプロトタイプが開発された
- ダンサーたちの反応やフィードバックを収集し、将来の使用シナリオを探るワークショップが行われた
- ダンサーたちの体験やフィードバックから、MRミラーが彼らの日常的な創造的プロセスにどのように適合するかを把握するための技術的調査が実施された
- MRミラーのハードウェアとソフトウェアのセットアップは、二方向ミラーガラスと65インチのLED TV画面を使用し、Microsoft Azure Kinectセンサーで姿勢追跡を行う
- 鏡を使った拡張現実（AR）ミラーの可能性を探る研究が行われている
- MRミラーの開発とダンスの創造的なプロセスへの応用が研究された
- ダンサーの反応とフィードバックを収集するワークショップが実施された
- ダンサーの体験を把握するための技術的な調査が行われた
- MRミラーのハードウェアとソフトウェアのセットアップについて説明された
-----------
- プロトタイプのMRミラーを使用して、視覚化機能のデザインを行った
- プロトタイプには4つの視覚化があり、それぞれの機能のスナップショットと以前の作品からのインスピレーションが提示された
- 4つの機能は、点-点-線（PL）、エアドローイング（AD）、遅延プレゼンス（DP）、身体の拡張（EB）で構成されている
- PLでは身体の関節間に直線を描くことができ、ADでは手の動きの軌跡を描き出すことができる
- DPでは身体の静止したポーズを可視化し、その周囲の空間との関係を視覚化することができる
- EBでは身体の特定の部分を拡張して可視化することができる
---------------------------------
- 研究者たちはダンサーが自分のポーズや占有する空間のボリュームを視覚化できるように支援するプロトタイプを開発した。
- このプロトタイプは、遅延した3Dキャプチャを作成し、ダンサーのボディをポイントクラウドで描写する。
- プロトタイプは別の人間の姿勢をダンサーのボディに重ねて表示する機能も持っている。
- プロトタイプはダンサーにMRミラー技術の機会と制約を体験させるために作られた。
- ワークショップやインタビューを通じて、ダンサーたちと協力して未来のダンスにおけるMRミラー技術の可能性を探求し、改善していくことを目指している。
------
- 8つのストーリーボードを設計およびイラスト化し、将来のMRミラーの使用方法とコンテキストを表現している。
- 3つのストーリーボードを論文で紹介し、残りの8つを補足資料に含める予定。
- プロのダンサーとダンスの学生を対象に、MRミラーの使用に関するフィードバックを得るためのワークショップを行った。
- ワークショップの後、参加者とのフォローアップ調査を実施し、ダンススタジオでの鏡とデジタルテクノロジーの使用に関する意見やアイデアを尋ねた。
- 12人の参加者と専門家の参加者からなるワークショップを実施。
- 参加者はプロのダンサー、大学のダンス学生、または振付家であり、様々なダンスのバックグラウンドを持っていた。
- ワークショップの後、専門家の参加者とのインタビューセッションを行った。
- ワークショップ参加者の中には、専門的な経験と知識を持つ人もいた。
- ワークショップに加えて、プロの振付師とデジタルメディアダンスアーティストにも意見を求めた。
- ワークショップは、参加者の利用可能性とダンスの専門的なバックグラウンドに応じて1〜3人のグループで行われた。
- 参加者には研究の目的が説明され、同意書に署名してもらった。
- ワークショップでは、各視覚化機能の使用方法を説明し、参加者が即興で使用するようにした。
- 技術のプローブワークショップの後、参加者は隣の部屋に案内され、実験者によるシーンの調査が行われた。
------
- 2つのワークショップに参加者を集め、MRミラーに関する意見を収集しました。
- ワークショップはイラスト付きのシナリオを使用し、グループごとに行われました。
- パート参加者には未来のテクノロジーを表現するためのアート用具が与えられました。
- 1週間後、専門家の参加者を呼び戻し、改めてMRミラーを使用して即興演技を行い、インタビューを行いました。
- 全体で13時間の動画記録と、参加者が作成した13のプロトタイプが生成されました。
- データ分析のために2人の研究者が協力し、参加者の行動やコメントをカテゴリー化しました。
- カテゴリーには、MRミラーとのダンス、テクノロジーの探索、創造的なプロセスに関する反省が含まれました。
- パート参加者との初期分析後、結果を専門家の参加者と検証しました。
- パート参加者はMRミラーの視覚化が彼らの動きや創造的なプロセスに与える影響についてコメントしました。
------
- 参加者はミラーを利用してダンスの即興演技を行い、その結果、異なる身体視点や新しいダンスの動きが生まれた。
- 一部の参加者は、線を使って壁を作ったり、自身の影と共に踊ったりした。
- 参加者は、ミラーの制限や新機能の制約について批判的なコメントをし、改善案を提案した。
- 参加者は、制限とは異なる方法でミラーの機能を利用し、新たなダンスの表現方法を見出した。
------
- プロトタイプのワークショップで、参加者はミラーが彼らの存在感に与える影響についてコメントしました。
- 特にEEでは、参加者はアバターのフルボディモーショントラッキングに興味を持ち、トラッキングの限界を試す行動が多く見られました。
- 参加者はミラーの可視化機能に注意を集める必要があり、それが身体の自由な動きに制約を与えると感じました。
- 参加者はミラーが彼らの存在感に影響を与えることに興味を持ちました。
- アバターが存在感を持つ一方で、参加者は自身の身体について考えるようになりました。
- 参加者はミラーの実験に対して自己意識を感じることもありました。
- 参加者はミラーの可視化だけでは十分な指示やヒントにならないと感じました。
- 技術的なプロセスについての反省では、参加者はダンスの既存の習慣にミラーが与える影響について多くの洞察を得ました。
- 参加者は、ミラー自体が彼らの注意を逸らすと感じたり、ミラーの可視化により動きに制約が生じたりすることに言及しました。
- ミラーの可視化は、創造性の実践において指示や文脈が不足していると感じられました。
------------------------------
- 参加者たちは録音する際に緊張があると述べたが、自分の動きの分析や即興での振付の創造に使用することもあるとも述べた。
- MRミラーは参加者にとって空間をより視覚化し、体現する手助けとなると述べられた。
- 参加者たちは空間のボリュームを視覚化することに興味を持ち、仮想空間の視覚化にも興味を持った。
- 参加者たちはダンスにおいて心象力の創造が重要であり、言葉の説明を使用してテクスチャを視覚化すると述べた。
- 参加者たちはMRミラーがイメージ作成の支援となる可能性について述べた。
- 参加者たちはMRミラーを通じて異なる体、エネルギー、動きの質を体現する経験について詳細なコメントをした。
- 参加者たちはMRミラーの視覚情報だけではなく、多モーダル刺激も使用するべきだと述べた。
- 参加者たちは触覚フィードバックの重要性について話し、特にパートナーシップでは重要だと述べた。
- 参加者たちの創造的プロセスについてのコメントもあり、即興や新しい動きの探索の重要性に触れた。
- MRミラーはパフォーマンスで使用することもあり、新しい視覚化による利点があると述べられた。
------
- 参加者のフィードバックによると、MRミラーはダンスの文書化や可視化、パフォーマンス、観客参加など、さまざまな用途に活用できると考えられている。
- ダンスの文書化には、空間の使用や複数の角度からの視点をキャプチャできる3Dモーションキャプチャやレンダリングが役立つ。
- ダンスの可視化には、ダンスパートナーの動きの学習や、異なるダイナミクスやテクスチャの視覚的な指標を提供することができる。
- パフォーマンスや観客参加には、ダンスパフォーマンスをミラーで再生して観客を参加させることや、アートインスタレーションに応用することが考えられている。
- エキスパートの参加者からのフィードバックでは、MRミラーの潜在能力やダンスへの統合の可能性についての意見が述べられている。
- ダンスアーティストからのフィードバックでは、DPやEEの利点や役割についての意見が述べられている。
- 1AはMRミラーを「創造的な探求のためのエキサイティングな可能性を開く」と評価している。
------
- MRミラーは、踊り手やダンス学生に振り付けを教えるための腕のフレーズをプログラムするために役立つと提案された
- MRミラーは、3D再構築機能を活用しながら、ビデオ録画に比べて特に貴重である
- MRミラーは、ダンスの観客とのより良い関与のために、ギャラリースペースでの対話型ミックスドリアリティのインストールとしての潜在的な価値を評価する
- MRミラーは、ダンスのコンセプトに基づいてダンスステージに統合される可能性がある
-------
- MRミラーによる可視化は、踊り手がミラーの中の反射空間を経験することを可能にし、空間的存在感を与えるという参加者のフィードバックがあった
- 可視化によって、参加者は身体の姿勢や動きの時間的および空間的な構造を把握しやすくすることができ、ダンスにおいて必要とされる心的イメージの創造を支援することができるとの意見もあった
- EEによる踊り手の身体の見た目の変化は、自分自身の身体との親しみを感じながら新しいダンス動作を育むのに役立つとみなされた
-------
- 技術プローブワークショップでは、DPの探索において、遅延キャプチャをミラーとのさまざまな時間的関係でダンスパートナーとして使用するという共通の行動が見られた
- ミラーを介した視覚的な身体の存在は、異なる可視化によって異なるレベルの自己意識を引き起こし、空間と時間の自覚の異なるレベルを探る手段としても機能するとの意見があった
-------
- テクノロジープローブワークショップでは、参加者はMRミラーの可視化の効果について肯定的なコメントや批判的なコメントをし、その機能を再利用して技術的な限界をテストするなどの行動を示した
- ダンサーは自分たちの創造的なプロセスについて反省し、MRミラーの潜在的な将来の使い方を提案した
-------
- MRミラーによるダンスの可視化は、過去の研究やImprovisation Technologiesなどの先行研究との関連性を踏まえてディスカッションする
- ダンサーの経験から得られたHCIへの洞察は、ミックスドリアリティを含む関連する研究領域においても重要である
-------
- MRミラーは、ダンスの動きを空間と時間で視覚化することによって、踊り手の時間的および空間的な感覚を豊かにする
- 可視化は、踊り手の身体部位と周囲の空間との間の見えない構造を視覚化することに役立ち、新しい動きのための材料となる過去の動きの痕跡を示す直線を通しても表現される
-------
------
- 実験で使用されたMRミラーは、ダンサーによる即興のためのトレーニングツールとして役立つことが示された。
- MRミラーはダンサーに過去の自己との関係を視覚化することで、時間と空間を意識するためのトレーニング効果がある。
- MRミラーの中で行われるリアルタイムな視覚化は、ダンサーの感じる体験と動きの質に影響を与えることがわかった。
- MRミラーはダンサーの身体イメージを視覚化するためのツールとして機能し、新しい動きや創造性を刺激する効果がある。
- MRミラーには複数のレイヤーがあり、ダンサーの周りに存在感を与えることができる。
- 鏡を通しての視線は、ダンサーに対する監視されているというネガティブな感情を引き起こすが、同時に創造性を高める刺激ともなる。
- MRミラーの複数のレイヤーを活用することで、ダンサーは自己意識を超えて創造的に即興することができる。
--------------------------------
- MRミラーは、物理的なダンサー、反射されたダンサー、遅延された3Dキャプチャーという3人のダンサーの共在を可能にします。
- ダンサーが肉体的な自己の外に出て、空間と時間を超えて他の「自己」とのつながりを確立することができる。
- 即興的なダンサーは、遅延キャプチャをパートナーとして、あるいは自分の過去と未来の動きの視覚化として認識することができる。
- MRミラーは、潜在意識の自由と意識の明瞭さを同時に実現し、ダンスの即興と振付を訓練する可能性がある。
- 懸念事項として、視覚的な注意が即興の自由を妨げること、自己反省に固執すること、触覚的なフィードバックがないことなどが挙げられる。
- テクノロジーの意図しない使い方として、奥行きのある閉塞感の探求や、新しい動きの質の発見などが挙げられる。
- ダンスにおけるインタラクションデザインは、ダンサーの自由な探索と創造的な可能性を可能にするものでなければならない。
- MRミラーは、ダンスの動きの形成過程を可視化し、動きの成り立ちを意識させる。
- クロノフォトグラフィーやアニメーションフィルムなどの技術的な探求は、実現不可能な身体の動きの形を可視化することを目的としている。
---------------------------------------------------------
- イヴォンヌ・ライナーやウィリアム・フォーサイスは、静止画によるダンスの動きの表現に懸念を表明した。
- ウィリアム・フォーサイスのインプロビゼーション・テクノロジーズは、ダンス動作中の身体空間の構造がダイナミックに形成される過程を明らかにした。
- MRミラーは、リアルタイム、実空間、インタラクティブな仮想オブジェクトのレンダリングを提供することで、動きの顕在化をさらに前進させる。
- モダンダンスや振付において、動きの表現は重要であり、ダンサーは体感や運動感覚を通して見たものに反応する。
- MRミラーに映し出されたダンサーの身体の隣に、ライブでレンダリングされたダンサーの「動きの素材」を見ることで、空間と時間におけるダンサーの体現と存在感を高めることができます。
- MRミラーの体験は、HCI研究で議論されている体現感や臨場感との関連で考察することができます。
- ユーザーは、映し出された身体を、より自己と密接な関係を持つ特別な対象として認識する傾向がある。
- また、反射体は、MRの鏡とのインタラクション中に入力を行うために使用することができる。
- 反射体は、鏡とのインタラクションや反射空間を具現化するための直感的なツールとして機能することができます。
------
- MRミラーを介してオーバーレイされた可視化を利用することで、即興の文脈で新しい動きを作り出す可能性を調査しました。
- 制作のためのMRミラーの潜在的な影響について、様々な視点から調査を行いました。
- MRミラーはダンサーが鏡に映った自分自身を通じてダンスの動きを可視化し、過去の自己と繋がりながら将来のダンスの動きを創造することを可能にします。
- 技術の探索行動から得られた知見は、相互作用デザインのための貢献的なインサイトを提供し、将来のダンスの実践にMRミラーを統合する方向性を示唆しています。
- ダンスと演劇の理論的な文脈、および体の動きを視覚的に提示するためのテクノロジーの歴史におけるMRミラーの特異な位置について議論します。
- この研究はオーストラリア政府の研究トレーニングプログラム（RTP）奨学金の支援を受けています。Victoria Chiu、Monica Lim、Carol Brownへの感謝の意を表します。
------
- 言及された論文の一つは、仮想現実の入力代替手段に関するもので、ツールの具現化を定量的に測定する手法を提案している。
- 別の論文は、拡張現実の鏡を用いた動きのトレーニングを向上させるシステムについて述べている。
- さらに別の論文は、現代ダンスにおける動きの質を3次元で可視化する手法について述べている。
- 別の論文では、仮想的な身体の拡張によるダンスのパフォーマンスについて述べられている。
- また、舞踏の即興性について書かれた書籍についても言及されている。
- 最後に、他の論文では、舞踊の創作を支援するための技術やツールについて述べられている。------
- 第1の論文は、仮想現実の入力代替手段に関する具体的な測定手法を提案している。
- 第2の論文は、拡張現実の鏡を利用した動きのトレーニングを改善する方法を紹介している。
- 第3の論文は、現代ダンスの動きの質を3次元で可視化する方法について述べている。
- 第4の論文では、仮想的な身体の拡張を伴うダンスパフォーマンスについて取り上げられている。
- 舞踏の即興性に関する書籍の名前と著者が引用されている。
- 最後の論文群では、舞踊創作を支援するための技術やツールについて詳しく説明されている。------
- Knotationというシステムの研究が行われている
- 鏡の使用がダンスの学習に影響を与えることが研究されている
- ダンスのマルチモーダルな記録に注釈をつけるためのウェブベースのシステムが開発されている
- ドローンとの共演によって新しい芸術的表現が生まれる可能性がある
- ダンスとテクノロジーの統合における緊張が研究されている
- ダンスの即興演技をサポートするためのツールが開発されている
- 創造性サポートツールのランドスケープが調査されている
- デザインにおける即興原則と技法が研究されている
- テクノロジーに触発されたダンスについての研究が行われている
- 存在と時間についての哲学的な著作が参考となっている